Notebook "1_Besoin_3_Lissage_temporelle"

Description

Ce notebook se focalise sur l'étude du lissage commencée par Abdel lors de la première mission

Structure du notebook

Ce notebook est construit de plusieurs parties :

Prérequis

Source de données

Pour que le notebook fonctionne, il est nécessaire que le fichier project_config.yml soit situé au même niveau que ce notebook : ce fichier permet la connexion à la source de données.

Installation des prérequis techniques

Le notebook fonctionne sur Python 3.7 avec les bibliothèques suivantes :

Introduction

Initialement, la résolution par la méthode Lasso consiste à résoudre un système d'équations qui correspond à un instant t donné.

Le principe du lissage est de prendre en compte les échantillons du passé. Ainsi, un lissage prenant en compte n échantillons correspond à un système d'équations pour les échantillons à t, t-1, ..., t-n+1

Le notebook se focalise seulement sur les données du SIRTA et sur une courte période

I - Import des bibliothèques

II - Chargement des données et des profils

II.a Recherche des identifiants de connexion

II.b Recherche des profils dans la DB

II.c Recherche des données temporelles

II.d Recherche des erreurs de la PMF

II.e Récupération des données brutes

II.f Récupération des regressions

III - Application du lissage

III.a Choix du nombre d'échantillons à prendre en compte

III.b Mise en place de l'algorithme de lissage (sans pondération)

III.c Affichage superposé des différents lissages

III.d Affichage séparé des différents lissages

III.e Affichage des erreurs

III.f Affichage des erreurs avec le signal lissé

III.g Comparaison avec la PMF

III.i Observations

Observations faites sur les différents niveaux de lissage :

IV - Mise en application du lissage avec pondération linéaire

Principe de la méthode LASSO

La pondération du lissage dans la méthode LASSO se fait en pondérant les échantillons du passé dans la fonction de coût (plus l'échantillons est loin dans le passé, plus l'impact est faible). Le système d'équation est quant à lui identique.

Dans un premier temps, une pondération linéaire est mise en place. Pour n échantillons pris en compte :

IV.a Choix du nombre d'échantillons à prendre en compte (2)

IV.b Mise en place de l'algorithme de lissage (avec pondération)

IV.c Affichage superposé des différents lissages avec pondération

IV.d Affichage séparé des différents lissages avec pondération

IV.e Affichage des erreurs

IV.f Affichage des erreurs avec le signal brute lissé

IV.g Comparaison avec la PMF

IV.h Observations

Observations faites sur les différents niveaux de lissage avec pondération :

V - Mise en application du lissage avec pondération exponentielle

Dans cette partie, une pondération exponentielle est mise en place. Pour n échantillons pris en compte :

V.a Choix du nombre d'échantillons à prendre en compte (3) et du taux de pondération

V.b Mise en place de l'algorithme de lissage (avec pondération)

V.c Affichage superposé des différents lissages avec pondération

V.d Affichage séparé des différents lissages avec pondération

V.e Affichage des erreurs

V.f Affichage des erreurs avec le signal brut lissé

V.f Comparaison avec la PMF

V.g Observations

Observations faites sur les différents niveaux de lissage avec pondération exponentielle :

VI - Comparaison entre avec et sans pondération

VI.a Comparaison des différents lissages

VI.b Comparaison des erreurs MAE

VI.c Comparaison des erreurs MSE

Conclusion Globale

Pour résumer :

Récaptiualtif de la réunion précédente et des résultats